Context-Matched Distillation: Teacher Causality for Autoregressive Video Distillation
上下文匹配蒸馏：面向自回归视频蒸馏的教师因果性
🧭 视频生成蒸馏 · 因果对齐
NVIDIA · University of Surrey
提出因果蒸馏框架 CMD，对齐教师评分与学生生成时的因果信息集，提升自回归视频生成控制精度
📌 工作参考价值（4 点）
- 因果对齐的蒸馏思想可迁移到序列生成模型（如自回归推荐、对话式 Agent）：教师评分时应只使用学生生成该 token 时已见到的历史与上下文，避免未来信息泄露造成训练-推理不一致。
- Prefix Scoring 用学生实际生成的前缀（而非真实前缀）让教师评估当前 token，这类似于 NLP 中的 on-policy 蒸馏，可借鉴到基于 LLM 的序列推荐或搜索 query 生成中，以缓解 exposure bias。
- Prefix Corruption 通过对早期不可靠前缀加扰动来稳定训练，可应用于 RLHF 或蒸馏框架中处理训练初期策略不稳定问题，尤其在实时交互式生成场景（如直播电商文案、动态广告素材生成）有价值。
- 论文主要面向视频生成，与电商/推荐直接业务关联有限，但其中的低延迟自回归生成 + 在线控制思想，对需要实时响应的交互式推荐系统（如对话推荐、动态出价策略）有架构参考意义。